Pada Februari 1891, dinding penjara telah mula dibina dan siap pada bulan Ogos 1892. Penjara Pudu pada asalnya dibina untuk mengurung 600 orang banduan.

Beberapa bulan selepas penjara dibina, pada Ogos 1895, wabak taun melanda penjara dan membunuh beberapa ratus banduan. Kemudian didapati bahawa penyakit itu disebabkan oleh sistem bekalan air di penjara yang bergantung pada perigi lama milik tanah perkuburan Cina sebelum ini. Pemeriksaan oleh pihak berkuasa penjajah British mendedahkan bahawa air di dalam telaga itu tercemar teruk. Masalah itu tidak dibetulkan sehingga 1898.

Setelah bilangan penghuni mula meningkat, pembinaan baru telah dibuat, sehingga penjara ini mampu menampung 2,000 orang pesalah dengan kadar muatan selesa. Walaupun begitu, pada 1985, lebih daripada 6500 orang banduan telah dipenjarakan dan menyebabkan banduan terpaksa tidur bergilir-gilir. Keadaan kekurangan ruang yang amat pesat itu telah memaksakan Penjara Pudu berpindah.